#Triton Kernel

3 篇

SpecFold: Folding Multi-Branch Redundancy for Faster Speculative Decoding in Diffusion Language Models

SpecFold：折叠多分支冗余加速扩散语言模型推测解码

🧭 扩散语言模型 · 推测解码加速

Georgia Institute of Technology

利用多分支推测验证中的隐藏状态冗余，通过残差门控与折叠注意力/FFN降低计算，最高实现1.64倍吞吐提升

📌 工作参考价值（4 点）

若线上用 multi-branch speculative decoding 加速 LLM 生成（如 query 改写、商品文案、Agent 回复），可借鉴 SpecFold 的 parent-child 分支隐藏状态复用：draft branches 往往只额外 unmask 少量 token，大部分 hidden states 与父分支高度相似，可做 token-level residual gating 跳过重复 attention/FFN 计算。
算法-系统协同设计值得参考：将细粒度重用逻辑用 Triton kernel 实现为稀疏多分支执行，避免框架层 overhead，否则算法上的 FLOPs 节省难以转化为端到端吞吐增益。
SpecFold 与 temporal caching 正交，可与 KV cache、前缀缓存等叠加；若未来在生成式推荐中使用扩散模型生成 Semantic ID 序列，同样存在跨步/跨分支冗余，可借鉴类似折叠思想。
论文验证了在多个 DLLM 上吞吐提升且精度不降，说明这种近似重用在文本生成任务上风险可控，适合延迟敏感的搜索/推荐在线服务。

LLM | 2026-10-05 | HF Daily | score 7/10

金字塔式稀疏注意力：对数线性复杂度

🧭 长上下文 LLM 稀疏注意力加速 ★ 深度解读

Shanghai Jiao Tong University · Shanghai Innovation Institute · ByteDance Seed

PISA 用金字塔 Top-K 块选择 + LogSumExp 评分，把可训练稀疏注意力的选择复杂度从 O(N^2) 降至 O(N log N)

📌 工作参考价值（4 点）

用户行为序列、商品文档、Agent 长记忆等长上下文场景，可以将 block sparse attention 的 Top-K 选择换成 PISA 的层级候选缩小：长序列（>64K）下路由 latency 显著低于普通 BSA，适合海量长行为序列或长文档理解；短序列（<16K）仍用普通 BSA 更划算。
工程实现可借鉴两段式 kernel：训练/prefill 阶段先做 intermediate-level 路由，再把同一 leaf key block 的 query 聚成 tile 复用 key IO，Qtile=4 时 64K+ 额外获得约 1.3× 加速；解码阶段用单 kernel 融合所有层级避免多次 launch，缓存 mean pyramid 只更新当前 token 的祖先路径，均摊 O(log N)。
块打分用 LogSumExp 而不用均值或均值+方差：LSE 保留更高阶信息，提升 Top-K 块选择质量和检索类/containment 任务准确率；在 GQA 下按 query heads 求和 LSE 做共享块选择可复用，但要注意它和 full attention 的 head-mass 平均排序规则不完全一致。
若业务中有 Agent/RAG 长候选集粗筛，可把“池化层级 + 每层 bounded Top-K 扩展”作为两阶段检索范式：先粗粒度过滤，再对少数候选精确打分，避免全量候选打分；训练时梯度只经过选中 attention，离散选择不参与反传，可作为稀疏模块插入现有结构。

LLM | 2026-09-24 | HF Daily | score 8/10

WHALE：基于Wukong-HSTU的可扩展统一推荐架构

🧭 可扩展推荐架构 · 特征交互与序列建模统一 ★ 深度解读

Meta Platforms, Inc.

通过逐层注意力融合将Wukong特征交互与HSTU序列建模统一，实现可扩展的工业推荐模型

📌 工作参考价值（4 点）

逐层注意力融合设计：在排序模型中，不推荐简单的“先压缩序列再拼入浅层交互”方式，而是像WHALE那样，在每一层用特征交互的输出作为query去关注行为序列，让高阶交叉能反复检索细粒度历史证据，可移植到电商/短视频的候选感知历史建模。
注意力实现与效率优化：共享KV减少显存带宽；根据query长度与序列长度的不对称性动态选择query-parallel或KV-parallel的反向计算路径，提升吞吐；用shared-gate SwiGLU替换标准SwiGLU，FFN计算量降低33%。这些trick可直接用于自研注意力模块的加速。
消除CPU-GPU同步：在线推理中通过shape hint tensor避免动态形状导致的同步开销，单点可节省1~5ms延迟，适合对延迟敏感的大型排序模型。
统一架构的缩放收益：增加序列长度、模型深度和宽度均带来一致的离线收益，且在线主指标+0.113%仅付出5%吞吐下降，说明该架构在工业场景中具有成本有效的扩展性。

RecSys | 2026-07-19 | cs.IR | score 10/10